Slope heuristics for variable selection and clustering via Gaussian mixtures

Specific Gaussian mixtures are considered to solve simultaneously variable selection and clustering problems. A penalized likelihood criterion is proposed in Maugis and Michel (2008) to choose the number of mixture components and the relevant variable subset. This criterion is depending on unknown constants to be approximated in practical situations. A “slope heuristics” method is proposed and experimented to deal with this practical problem in this context. Numerical experiments on simulated datasets, a curve clustering example and a genomics application highlight the interest of the proposed heuristics. Key-words: Model-based clustering, Variable selection, Penalized likelihood criterion, Slope heuristics, Curve clustering. ∗ INRIA Futurs, Projet select, Université Paris-Sud 11 † INRIA Futurs, Projet select, Université Paris-Sud 11 in ria -0 02 84 62 0, v er si on 2 4 Ju n 20 08 Heuristique de pente pour la sélection de variables et la classification non supervisée via des mélanges gaussiens Résumé : Des mélanges gaussiens de formes spécifiques sont considérés pour résoudre un problème de sélection de variables en classification non supervisée. Un critère de vraisemblance pénalisée est proposé dans Maugis and Michel (2008) pour sélectionner le nombre de composantes du mélange et le sous-ensemble des variables significatives pour la classification. Ce critère dépend de constantes multiplicatives inconnues qui doivent être évaluées en pratique. Une méthode heuristique dite “de la pente” est proposée et expérimentée pour résoudre ce problème. Des exemples numériques sur données simulées, un exemple de classification de courbe et une application génomique mettent en évidence l’intérêt de cette procédure. Mots-clés : Classification, Mélanges gaussiens, Sélection de variables, Critère pénalisé, Heuristique de pente, Classification de courbes. in ria -0 02 84 62 0, v er si on 2 4 Ju n 20 08 Slope heuristics for Gaussian mixtures model selection 3